داده کاوی، مفاهیم و کاربرد پروژه

مهندسی نرم افزار کامپیوتر

آفیس، فرمت داک، 108 صفحه

فهرست :

چکیده
مقدمه
فصل اول – مفاهیم داده کاوی
مديريت ذخيره سازی و دستيابی اطلاعات
ساختار بانک اطلاعاتی سازمان
داده کاوی (Data Mining)
مفاهيم پايه در داده کاوي
تعريف داده کاوي
مراحل فرايند کشف دانش از پايگاه داده ها
الگوريتم هاي داده كاوي
آماده سازي داده براي مدل سازي
درک قلمرو
ابزارهای تجاری داده کاوی Tools DM Commercial
منابع اطلاعاتی مورد استفاده
محدودیت های داده کاوی
حفاظت از حریم شخصی در سیستم‌های داده‌كاوی
فصل دوم : کاربردهای داده کاوی
کاربرد داده کاوی در کسب و کار هوشمند بانک
داده كاوي درمديريت ارتباط بامشتري
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی
داده کاوی و مدیریت موسسات دانشگاهی
داده کاوی و مدیریت بهینه وب سایت ها
داده‌كاوي و مديريت دانش
كاربرد داده‌كاوي در آموزش عالي
فصل سوم – بررسی موردی1: وب کاوی
معماری وب کاوی
مشكلات ومحدوديت هاي وب كاوي در سايت هاي فارسي زبان
محتوا کاوی وب
فصل چهارم – بررسی موردی 2 : داده کاوی در شهر الکترونیک
زمينه دادهکاوي در شهر الکترونيک
کاربردهاي دادهکاوي در شهر الکترونيک
چالشهاي دادهکاوي در شهر الکترونيک
مراجع و ماخذ

چکیده

امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده را پردازش کردواطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد .
با استفاده از پرسش هاي ساده در SQL و ابزارهاي گوناگون گزارش گيري معمولي ، مي توان اطلاعاتي را در اختيار کاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي ميان آنها بپردازند اما وقتي که حجم داده ها بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين کار هم با شند ، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است .
از سوي ديگر کاربران معمولا فرضيه اي را مطرح مي کنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه مي پردازند ، در حالي که امروزه نياز به روشهايي است که اصطلاحا به کشف دانش بپردازند يعني با کمترين دخالت کاربر و به صورت خودکار الگوها و رابطه هاي منطقي را بيان نمايند .
داده کاوي يکي از مهمترين اين روشها است که به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت کاربران شناخته مي شوند و اطلاعاتي را در اختيار کاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند .
در داده کاوي از بخشي از علم آمار به نام تحليل اکتشافي داده ها استفاده مي شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکيد مي شود . علاوه بر اين داده کاوي با هوش مصنوعي و يادگيري ماشين نيز ارتباط تنگاتنگي دارد ، بنابراين مي توان گفت در داده کاوي تئوريهاي پايگاه داده ها ، هوش مصنوعي ، يادگيري ماشين و علم آمار را در هم مي آميزند تا زمينه کاربردي فراهم شود .
بايد توجه داشت که اصطلاح داده کاوي زماني به کار برده مي شود که با حجم بزرگي از داده ها ، در حد مگا يا ترابايت ، مواجه باشيم . در تمامي منابع داده کاوي بر اين مطلب تاکيد شده است .
هر چه حجم داده ها بيشتر و روابط ميان آنها پيچيده تر باشد دسترسي به اطلاعات نهفته در ميان داده ها مشکلتر مي شود و نقش داده کاوي به عنوان يکي از روشهاي کشف دانش ، روشن تر مي گردد .

مقدمه

با گسترش فناوري اطلاعات و ارتباطات درجهان و ورود سريع آن به زندگي روزمره مردم مسائل و ضرورت­هاي تازه­اي به­وجود­آمده­است .امروزه انسان توسعه يافته كسي است كه به اطلاعات دسترسي داشته­باشد و دسترسي به اطلاعات نه يك ضرورت،كه يك قدرت محسوب­مي­شود. دراين­ميان شهر­ها به عنوان مراكز قدرت انساني و تمدن­هاي بشري بيش از پيش اهميت­يافته­اند. به اعتقاد الوين تافلر، مردم كره زمين تا به امروز سه موج اساسي تحول راپشت سرگذاشته اند :
موج اول، موج انقلاب كشاوزي است كه زمان آغاز آن بركسي مشخص نيست.
موج دوم، انقلاب صنعتي است كه به دنبال اختراع ماشين بخار در سال 1764آغاز­ شد.
موج سوم يا انقلاب انفورماتيك است كه ازسال 1946 كه بشر به ساخت كامپيوتر نائل آمده آغاز گشته­است.
اگر در موج دوم سخت­افزارها به كمك انسان­ها مي­آمدند، درموج سوم اين نرم­افزار­ها هستند که به خدمت بشر مي­شتابند و تفكرات و تصورات آدمي را به شكل كدهاي صفر و يك و با كمك امواج ماهواره­اي مبادله ­مي­كنند.
در موج سوم، انسان هر روز که بيشتر ياد ­مي­گيرد، بيشترمي فهمدكه با حقيقت فاصله دارد .موج سوم راموج خردورزي نيز لقب داده اند زيرا در اين عرصه­ها، انسان­ها ديگر فرصت ندارند زياد با هم صحبت­كنند، همه چيز تعريف­شده و براي هر تعريف، يك كد درنظرگرفته­شده­است.
از سوی دیگر در دنیای به شدت رقابتی امروز، اطلاعات بعنوان یکی از فاکتورهای تولیدی مهم پدیدار شده است. در نتیجه تلاش برای استخراج اطلاعات از داده ها توجه بسیاری از افراد دخیل در صنعت اطلاعات و حوزه های وابسته را به خود جلب نموده است.
حجم بالای داده های دائما در حال رشد در همه حوزه ها و نیز تنوع آنها به شکل داده متنی، اعداد، گرافیکها، نقشه ها، عکسها،  تصاویر ماهواره ای و عکسهای گرفته شده با اشعه ایکس نمایانگر پیچیدگی کار تبدیل داده ها به اطلاعات است. علاوه بر این، تفاوت وسیع در فرآیندهای تولید داده مثل روش آنالوگ مبتنی بر کاغذ و روش دیجیتالی مبتنی بر کامپیوتر، مزید بر علت شده است. استراتژیها و فنون متعددی برای گردآوری، ذخیره، سازماندهی و مدیریت کارآمد داده های موجود و رسیدن به نتایج معنی دار بکار گرفته شده اند. بعلاوه، عملکرد مناسب ابرداده که داده ای درباره داده است در عمل عالی بنظر میرسد.
پیشرفتهای حاصله در علم اطلاع رسانی و تکنولوژی اطلاعات، فنون و ابزارهای جدیدی برای غلبه بر رشد مستمر و تنوع بانکهای اطلاعاتی تامین می کنند. این پیشرفتها هم در بعد سخت افزاری و هم نرم افزاری حاصل شده اند.
ریزپردازنده های سریع، ابزارهای ذخیره داده های انبوه پیوسته و غیر پیوسته، اسکنرها، چاپگرها و دیگر ابزارهای جانبی نمایانگر پیشرفتهای حوزه سخت افزار هستند. پیشرفتهای حاصل در نظامهای مدیریت بانک اطلاعات در طی چهار دهه گذشته نمایانگر تلاشهای بخش نرم افزاری است.
این تلاشها در بخش نرم افزار را میتوان بعنوان یک حرکت پیشرونده از ایجاد یک بانک اطلاعات ساده تا شبکه ها و بانکهای اطلاعاتی رابطه ای و سلسله مراتبی برای پاسخگویی به نیاز روزافزون سازماندهی و بازیابی اطلاعات ملاحظه نمود. بدین منظور در هر دوره، نظامهای مدیریت بانک اطلاعاتی مناسب سازگار با نرم افزار سیستم عامل و سخت افزار رایج گسترش یافته اند. در این رابطه میتوان از محصولاتی مانند، Dbase-IV, Unify, Sybase, Oracle  و غیره نام برد.
داده کاوی یکی از پیشرفتهای اخیر در راستای فن آوریهای مدیریت داده هاست. داده کاوی مجموعه ای از فنون است که به شخص امکان میدهد تا ورای داده پردازی معمولی حرکت کند و به استخراج اطلاعاتی که در انبوه داده ها مخفی و یا پنهان است کمک می کند. انگیزه برای گسترش داده کاوی بطور عمده از دنیای تجارت در دهه 1990 پدید آمد. مثلا داده کاوی در حوزه بازاریابی، بدلیل پیوستگی غیرقابل انتظاری که بین پروفایل یک مشتری و الگوی خرید او ایجاد میکند اهمیتی خاص دارد.
تحلیل رکوردهای حجیم نگهداری سخت افزارهای صنعتی، داده های هواشناسی و دیدن کانال های تلوزیونی از دیگر کاربردهای آن است. در حوزه مدیریت کتابخانه کاربرد داده کاوی بعنوان فرایند ماخذ کاوی نامگذاری شده است. این مقاله به کاربردهای داده کاوی در مدیریت کتابخانه ها و موسسات آموزشی می پردازد. در ابتدا به چند سیستم سازماندهی داده ها که ارتباط نزدیکی به داده کاوی دارند می پردازد؛ سپس عناصر داده ای توصیف میشوند و درپایان چگونگی بکارگیری داده کاوی در کتابخانه ها و موسسات آموزشی مورد بحث قرار گرفته و مسائل عملی مرتبط در نظر گرفته می شوند.